Trước thế chiến

Trong Nội chiến Nga (1918), Koniev chiến đấu dưới sự chỉ huy của Kliment Yefremovich Voroshilov. Năm 1926 Koniev hoàn thành chương trình huấn luyện nâng cao cho các chỉ huy tại Học viện Quân sự Frunze và từ đó đến năm 1931 liên tục được thăng cấp đến Tư lệnh các quân khu Zabaikal và Bắc Kavkaz. Từ năm 1937 Koniev là ủy viên Xô viết Tối cao và năm 1939 là ủy viên Trung ương Đảng Bolshevik.

Chiến tranh thế giới thứ hai

Khi quân đội Đức Quốc xã tấn công Liên Xô tháng 6 năm 1941, Koniev đang chỉ huy Tập đoàn quân 19 của Hồng quân tại vùng Vitebsk, ông đã lãnh đạo lực lượng của mình tiến hành nhiều trận đánh phòng ngự trong cuộc rút lui của Hồng quân, đầu tiên là về Smolensk và sau đó là về Moskva. Từ tháng 10 năm 1941 đến tháng 8 năm 1942 Koniev chuyển sang chỉ huy Phương diện quân Kalinin, phương diện quân đóng vai trò quan trọng trong các trận chiến ở ngoại vi Moskva và cuộc phản công mùa Đông 1941-1942 của Hồng quân dẫn đến thắng lợi của Hồng quân trong Trận Moskva, 1941. Nhờ những thành tích này, Koniev được phong hàm thượng tướng.

Từ tháng 2 đến tháng 7 năm 1943, Koniev là Tư lệnh Phương diện quân Tây, sau đó là Phương diện quân Ukraina 1 từ tháng 7 năm 1943 đến tháng 5 năm 1945. Phương diện quân Ukraina 1 do Koniev chỉ huy trong trận Trận Kursk là lực lượng chủ chốt ở phần phía Nam cuộc phản công của Hồng quân, dẫn đến việc bao vây lực lượng của Thống chế Erich von Manstein.

Sau chiến thắng ở Kursk, Koniev đã chỉ huy phương diện quân của mình giải phóng Belgorod, Odessa, Kharkov và Kiev từ tay người Đức và tiến đến biên giới România. Từ tháng 2 năm 1944, Koniev được thăng cấp Nguyên soái Liên bang Xô viết.

Trong năm 1944, phương diện quân của Koniev đã vượt qua Ukraina và Belarus tiến vào Ba Lan và Tiệp Khắc. Từ tháng 7, lực lượng này vượt được qua sông Vistula ở miền Trung Ba Lan, Koniev được phong Anh hùng Liên bang Xô viết. Từ tháng 9, với cái tên mới Phương diện quân Ukraina 4, Koniev đã chỉ huy phương diện quân tiến vào Slovakia và giúp những du kích Slovakia chống lại sự chiếm đóng của quân đội Đức Quốc xã.

Tháng 1 năm 1945 Koniev và Georgi Konstantinovich Zhukov chỉ huy Hồng quân mở Chiến dịch Vistula-Oder, đẩy quân Đức từ Vistula về phía sông Oder. Ở miền Nam Ba Lan, lực lượng của Koniev giải phóng Kraków. Từ tháng 4, phương diện quân của Koniev cùng Phương diện quân Belarus 1 do Zhukov chỉ huy đã phá vỡ phòng tuyến sông Oder và tiến về Berlin. Tuy Koniev cũng tiến vào Berlin nhưng nhiệm vụ chiếm Tòa nhà Quốc hội Đức (Reichstag) và cắm cờ được giao cho Zhukov, còn Koniev và lực lượng của ông được lệnh tiến về phía Tây Nam và hội quân cùng lực lượng Mỹ tại Torgau, phương diện quân này cũng là lực lượng giải phóng Praha không lâu sau sự đầu hàng chính thức của quân Đức.

Sau chiến tranh

nhỏ|phải|200px|I. S. Koniev dẫn đầu đoàn quân của Phương diện quân Ukraina 1 diễu binh mừng chiến thắng trên Quảng trường Đỏ, Moskva, ngày 24-6-1945

Sau chiến tranh Koniev được giao nhiệm vụ Tư lệnh Hồng quân tại Đông Đức và giữ chức Cao ủy phe Đồng minh tại Áo. Năm 1946 ông trở thành Tư lệnh lục quân và Thứ trưởng thứ nhất Bộ Quốc phòng thay cho Zhukov. Ông giữ vị trí này cho đến năm 1950 thì được cử làm Tư lệnh Quân khu Carpath.

Sau cái chết của Stalin, Koniev trở thành đồng minh thân cận của Nikita Sergeyevich Khrushchyov và được giao nhiệm vụ bắt Lavrentiy Pavlovich Beria năm 1953. Sau đó, ông trở lại vị trí Thứ trưởng thứ nhất Bộ Quốc phòng và Tư lệnh lục quân cho đến năm 1956 khi ông được bổ nhiệm làm Tư lệnh tối cao lực lượng vũ trang các nước thuộc Khối Warszawa. Ông giữ vị trí này đến khi nghỉ hưu năm 1960, tuy vậy Koniev còn tiếp tục làm Tư lệnh các lực lượng vũ trang Xô viết tại Đông Đức cho đến năm 1962 và Tổng thanh tra Bộ Quốc phòng Liên Xô.

Ivan Koniev mất ngày 21 tháng 5 năm 1973 tại Moskva.